Ruhollah dilahirkan dalam keluarga Ayatollah Seyyed Mostafa Musavi dan Hajieh Agha Khanum di pekan Khomein, 300 km dari bandar Tehran. Kelahiran beliau pada 24 September 1902.[2] Beliau digelar sayyid dan juga didakwa merupakan keturunan nabi Muhammad SAW menerusi keturunan Imam Musa al-Kazim. Iaitu Imam ke 7 dalam Mazhab Syiah Ja'fariyah. Datuk sebelah bapa beliau, Seyyed Ahmad Musavi Hindi dilahirkan di Kintur, sebuah kampung di Wilayah Barabanki, Uttar Pradesh, India. Beliau berhijrah ke Iran pada tahun 1834 dan membeli sebuah rumah di Khomein pada tahun 1838. Datuk sebelah ibu Khomeini pula ialah Mirza Ahmad Mojtahed-e Khonsari, seorang ulama dari Iran Tengah. Beliaulah yang mengharamkan orang Islam untuk menggunakan tembakau berikutan pemberian monopoli perdagangan tembakau oleh Shah kepada syarikat Inggeris. Ini merupakan titik permulaan penglibatan ulama dalam politik Iran.

Bapa Khomeini dibunuh ketika Khomeini masih berumur lima tahun. Sejarahwan mendakwa kematian bapa beliau berpunca daripada konflik tempatan dan tiada kena mengena dengan Shah Iran. Khomeini kemudiannya dibesarkan oleh ibu beliau dan juga ibu saudara beliau. Ketika beliau berumur 15 tahun, kedua-duanya meninggal dunia pada tahun yang sama. Khomeini mula belajar Kitab Syiah ketika berumur enam tahun.[3] Beliau mendapat pendidikan awal di rumah dan juga di sebuah sekolah tempatan dan dibawah penjagaan Mullah Abdul-Qassem dan Sheikh Jaffar. Beliau juga turut dijaga oleh abang beliau, Ayatollah Pasandideh.[4] Seterusnya beliau melanjutkan pelajaran di sebuah seminari Islam di Arak, sebuah kota di Iran pada tahun 1921. Khomeini memilih seminari itu kerana ia dibawah pimpinan Ayatollah Sheikh Abdol-Karim Haeri-Yazdi. (Murid kepada seorang ulama terkenal dari Najaf, Iraq)

Tahun berikutnya, Ayatollah Haeri-Yazdi memindahkan seminari itu ke Qom dan Khomeini turut sama berpindah ke sana. Selepas tamat pengajian, beliau mula membuat kajian mengenai undang-undang Sharia, Filasafah Islam dan juga ilmu mistik Irfan dan menerbitkan buku-buku mengenai kajian beliau.

Walaupun ketika awal pengajian beliau, Khomeini tidak aktif dalam politik, tetapi kajian dan buku-buku terbitan beliau membuktikan bahawa beliau percaya yang ulama haruslah melibatkan diri dalam politik. Beliau adalah antara ulama-ulama Iran yang pertama membangkang sistem sekular pada 1940 an. Gelaran marja kemudiannya dianugerahkan kepada beliau pada tahun 1963, berikutan kawafatan Ayatollah Seyyed Husayn Borujerdi.